AUSO：从技能内部化到利用的动作级统一技能优化
🧭 Agent RL · 技能内部化与利用 ★ 深度解读
University of Science and Technology of China · University of New South Wales · Independent Researcher · University of Chinese Academy of Sciences · Xi'an Jiaotong-Liverpool University
用 JSD 度量技能对策略动作分布的影响，以动作级信号重加权 GRPO，将技能从外部监督渐进转为按动作收益利用，提升 Agent 泛化
📌 工作参考价值（4 点）
- 用动作级 skill sensitivity 替代轨迹级 skill routing：在电商导购/搜索 Agent 中，检索到的商品知识、query 改写策略或用户记忆通常整条 trajectory 统一使用。可以仿照 AUSO，在同一个 visited state 分别计算“有技能/无技能”的策略分布，用 JSD 得到动作级 sensitivity，再乘 GRPO advantage；只加强有利动作、抑制被技能干扰的动作，且不改变 advantage 符号。
- 对 reward 稀疏、全失败组失效问题，可仅对 success rate=0 的任务组加入 skill-conditioned teacher JSD loss，并用 ramp-up + smooth-decay 退火。这比一直加蒸馏更稳，能让 Agent 从专家技能中恢复而不过度依赖外部监督。
- 在二元成功/失败的 rollout group 中，引入 p(1-p) uncertainty gate 控制动作级 credit assignment；全成功或全失败时门控趋近 0，避免无信息差异的动作被错误加权。该轻量 trick 可直接嵌入现有 GRPO 流程。
- 课程式阶段划分 2:5:3（内部化/探索/利用）可迁移到业务 Agent post-training：先蒸馏已有专家或策略知识，再做自主 RL，最后自适应利用外部工具/skill，尤其对 OOD 流量收益明显。
面向标量奖励模型的端到端隐式推理学习
🧭 奖励模型 · 隐变量训练 ★ 深度解读
Peking University · Tencent
将推理链视为隐变量，端到端最大化标量RM的数据似然，统一生成与判别目标，提升OOD泛化。
📌 工作参考价值（4 点）
- 搜索/推荐排序模型中的奖励建模：可借鉴隐变量框架，将生成式推理与标量打分联合优化，避免生成器与判别器目标割裂，提高打分的鲁棒性和分布外泛化能力。
- 简化训练流程：使用REINFORCE将生成器的优化目标直接对齐到下游标量RM的对数似然，无需外部教师模型或手工设计的奖励（如Kendall’s τ），减少超参数和数据处理开销。
- 数据清洗trick：利用浅层文本特征训练轻量MLP集成，过滤掉模型易拟合的简单样本（低损失），保留更具泛化价值的困难样本，可迁移到偏好数据或标注数据的质量筛选。
- 在线RLHF中的长度控制：LatentRM在RLHF中生成更短的回复，同时保持高胜率，有效抑制“奖励过度优化”和长度作弊，这对对话系统或生成式推荐中的对齐训练有借鉴意义。
超网络向大语言模型注入知识的规模法则
🧭 超网络训练时知识注入 · 规模法则
Nace AI · Purdue University
发现超网络生成 LoRA 适配器进行知识注入的损失、准确率和 OOD 泛化遵循幂律缩放规律
📌 工作参考价值（4 点）
- 超网络生成个性化适配器：在推荐系统中，可为不同用户群或内容品类训练超网络，动态生成轻量 LoRA 适配器，实现高效、可扩展的定向知识更新，无需重新全量微调。
- 解耦设计便于工程拆分：将知识注入容量与主模型能力解耦，允许单独扩展超网络（深度/宽度）而不影响线上推理成本，适合频繁更新的电商知识库（如商品属性、活动规则）。
- 利用规模法则指导资源分配：论文给出的预测性规模曲线可作为经验指南，在算力有限时权衡超网络深度、宽度和目标模型大小，快速找到性价比最优的配置。
- OOD 泛化优势用于冷启动：超网络注入在 OOD 场景（未见实体/关系）的缩放指数更陡，可迁移到新品推荐或冷门 category 的知识覆盖，比直接 LoRA 微调更可靠。
利用自主经验探索与后见经验提升GUI代理任务规划能力
🧭 GUI Agent · 经验回放与任务规划
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出PEEU方法，通过自主环境探索与后见经验构造高层次训练数据，显著提升小型MLLM的规划与跨网站泛化能力
📌 工作参考价值（4 点）
- 后见经验构造训练数据：将失败/成功的交互轨迹反向转化为严格对齐的规划级训练样本，可借鉴到电商Agent的购物任务拆解中，用用户实际浏览-购买路径生成高质量指令数据。
- 自主环境探索：让Agent在生产前自动探索网站结构并积累操作经验，类似推荐系统中的冷启动探索，适合构建电商网页的预训练经验库，减少人工标注。
- 分层任务分解视角：TDHAF框架揭示高层次任务训练比原子技能训练更利于分布外泛化，提示在构建购物助手时应优先训练完整任务流（如“比价后下单”），而非单个点击指令。
- 小型MLLM潜力：7B模型超越32B模型，证明通过数据策略可压缩模型成本，适合边缘部署的电商隐私保护场景。
不变梯度对齐的鲁棒推理蒸馏
🧭 鲁棒知识蒸馏 · 不变学习
University of Oxford · FLock.io
通过逻辑同构集和连续梯度冲突掩码对齐梯度，提升小模型链式推理的 OOD 泛化性
📌 工作参考价值（4 点）
- 蒸馏推理模型时，构造跨域逻辑同构数据可显著减少表面捷径学习，对需要跨品类解释的推荐系统 CoT 蒸馏有直接借鉴。
- 连续梯度冲突掩码（M=exp(-τ·V)）可抑制任务特定维度，保留跨任务不变梯度，适用于多任务推荐模型（如同时优化点击、转化、停留）中避免负迁移。
- 将掩码梯度通过截断 SVD 投影回 LoRA 子空间，不引入额外推理参数，适合在参数高效的推荐召回或排序模型微调中部署。
- 逻辑一致性得分可作为评估指标，用于检测推荐解释或 Agent 推理的 OOD 稳定性，促进生产级可靠性。
Skill0.5：面向智能体强化学习 OOD 泛化的技能内化与利用联合优化
🧭 Agent 技能训练 · 内化与利用解耦 ★ 深度解读
East China Normal University · Meituan
提出难度感知路由，将一般技能内化与任务特定技能动态利用解耦，显著提升 LLM 智能体在 ID 与 OOD 场景下的成功率。
📌 工作参考价值（4 点）
- 区分一般技能与任务特定技能：在业务 Agent（如客服、导购）中，可将通用对话策略或跨域推理技能内化到模型，同时动态检索并利用不断更新的业务规则或话术，避免全量外化带来的 prompt 膨胀和全量内化导致的知识冲突。
- 难度感知路由思路：根据任务成功率自动分配优化策略——硬任务用特权技能做蒸馏，中等任务强化学习，简单任务强制使用技能防止捷径学习。这种课程式调度可用于多轮对话 Agent 训练，提升对长尾和新场景的适应。
- 抗捷径学习诊断：通过剥离特定技能后的性能对比（utilization gain）量化技能依赖，并对绕过技能的行为施加负向梯度，可迁移到基于技能/工具调用的 Agent 训练中，确保模型真正学会利用外部能力而非记忆表面模式。
- 解耦训练与推理上下文：训练时利用一般技能进行知识蒸馏，推理时仅保留精简的特定技能，兼顾能力深度和推理效率，可直接用于电商问答、智能推荐对话等对延迟和 token 成本敏感的场景。